لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش PySpark و AWS: Master Big Data با PySpark و AWS [ویدئو]
PySpark and AWS: Master Big Data with PySpark and AWS [Video]
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
داغ ترین کلمات در صنعت تجزیه و تحلیل داده های بزرگ پایتون و آپاچی اسپارک هستند. PySpark از همکاری Python و Apache Spark پشتیبانی می کند. در این دوره، شما از اصول اولیه شروع کرده و به سطوح پیشرفته تجزیه و تحلیل داده ها می پردازید. از تمیز کردن دادهها تا ساخت ویژگیها و پیادهسازی مدلهای یادگیری ماشینی (ML)، نحوه اجرای گردشهای کاری سرتاسر با استفاده از PySpark را خواهید آموخت.
در طول دوره، شما از PySpark برای انجام تجزیه و تحلیل داده ها استفاده خواهید کرد. شما Spark RDD ها، Dataframes و کمی پرس و جوهای Spark SQL را بررسی خواهید کرد. همچنین، تغییرات و اقداماتی را که میتوان روی دادهها با استفاده از Spark RDD و Dataframes انجام داد، کاوش خواهید کرد. شما همچنین اکوسیستم Spark و Hadoop و معماری زیربنایی آنها را کشف خواهید کرد. شما از محیط Databricks برای اجرای اسکریپت های Spark و کاوش در آن استفاده خواهید کرد.
در نهایت، طعم Spark با ابر AWS را خواهید چشید. خواهید دید که چگونه میتوانیم از حافظههای ذخیرهسازی، پایگاههای داده، محاسبات AWS استفاده کنیم و چگونه Spark میتواند با سرویسهای مختلف AWS ارتباط برقرار کند و دادههای مورد نیاز خود را دریافت کند.
در پایان این دوره، شما قادر خواهید بود مفاهیم PySpark و AWS را برای حل مشکلات دنیای واقعی درک و پیاده سازی کنید.
بستههای کد در اینجا موجود است: https://github.com/PacktPublishing/PySpark-and-AWS-Master-Big-Data-with-PySpark-and-AWS اهمیت دادههای بزرگ را بیاموزید
معماری و اکوسیستم Spark و Hadoop را کاوش کنید
درباره PySpark Dataframes و عملکرد PySpark DataFrames بیاموزید
از تبدیل های PySpark DataFrames استفاده کنید
اعمال فیلترینگ مشترک برای توسعه یک سیستم توصیه با استفاده از مدل های ALS این دوره به تجربه برنامه نویسی پایتون به عنوان پیش نیاز نیاز دارد. مفاهیم و جنبه های عملی Spark و AWS را با مشکلات دنیای واقعی مرتبط کنید * هر پروژه ای را که به دانش PySpark نیاز دارد از ابتدا اجرا کنید * جنبه های تئوری و عملی PySpark و AWS را بدانید
سرفصل ها و درس ها
معرفی
Introduction
چرا داده های بزرگ
Why Big Data
کاربردهای PySpark
Applications of PySpark
معرفی مربی
Introduction to Instructor
مقدمه دوره
Introduction to Course
بررسی اجمالی پروژه ها
Projects Overview
مقدمه ای بر هادوپ، اکوسیستم ها و معماری های اسپارک
Introduction to Hadoop, Spark Ecosystems and Architectures
چرا اسپارک
Why Spark
اکوسیستم هادوپ
Hadoop Ecosystem
معماری و اکوسیستم اسپارک
Spark Architecture and Ecosystem
Databricks ثبت نام کنید
Databricks Sign Up
ایجاد دفترچه Databricks
Create Databricks Notebook
دانلود Spark and Dependencies
Download Spark and Dependencies
راه اندازی جاوا
Java Setup
راه اندازی پایتون
Python Setup
راه اندازی جرقه
Spark Setup
راه اندازی Hadoop
Hadoop Setup
در حال اجرا اسپارک
Running Spark
RDD های جرقه ای
Spark RDDs
RDD های جرقه ای
Spark RDDs
ایجاد Spark RDD
Creating Spark RDD
اجرای Spark Code به صورت محلی
Running Spark Code Locally
نقشه RDD (لامبدا)
RDD Map (Lambda)
نقشه RDD (عملکرد ساده)
RDD Map (Simple Function)
مسابقه (نقشه)
Quiz (Map)
راه حل 1 (نقشه)
Solution 1 (Map)
راه حل 2 (نقشه)
Solution 2 (Map)
RDD FlatMap
RDD FlatMap
فیلتر RDD
RDD Filter
امتحان (فیلتر)
Quiz (Filter)
راه حل (فیلتر)
Solution (Filter)
RDD متمایز
RDD Distinct
RDD GroupByKey
RDD GroupByKey
RDD ReduceByKey
RDD ReduceByKey
آزمون (شمارش کلمات)
Quiz (Word Count)
راه حل (شمارش کلمات)
Solution (Word Count)
RDD (Count and CountByValue)
RDD (Count and CountByValue)
RDD (saveAsTextFile)
RDD (saveAsTextFile)
RDD (پارتیشن)
RDD (Partition)
یافتن میانگین-1
Finding Average-1
یافتن میانگین-2
Finding Average-2
آزمون (متوسط)
Quiz (Average)
راه حل (متوسط)
Solution (Average)
یافتن حداقل و حداکثر
Finding Min and Max
آزمون (حداقل و حداکثر)
Quiz (Min and Max)
راه حل (حداقل و حداکثر)
Solution (Min and Max)
بررسی اجمالی پروژه
Project Overview
کل دانش آموزان
Total Students
مجموع نمرات دانش آموز دختر و پسر
Total Marks by Male and Female Student
کل دانش آموزان قبول شده و رد شده
Total Passed and Failed Students
کل ثبت نام در هر دوره
Total Enrollments per Course
مجموع امتیازات در هر دوره
Total Marks per Course
میانگین نمره در هر دوره
Average Marks per Course
پیدا کردن حداقل و حداکثر علامت
Finding Minimum and Maximum Marks
میانگین سنی دانشجویان دختر و پسر
Average Age of Male and Female Students
اسپارک دی اف ها
Spark DFs
مقدمه ای بر Spark DFs
Introduction to Spark DFs
ایجاد Spark DF
Creating Spark DFs
طرحواره استنتاج جرقه
Spark Infer Schema
طرحواره ارائه جرقه
Spark Provide Schema
ایجاد DF از RDD
Create DF from RDD
اصلاح خطا
Rectifying the Error
ستون DF را انتخاب کنید
Select DF Columns
جرقه DF با ستون
Spark DF with Column
Spark DF با تغییر نام ستون و نام مستعار
Spark DF with Column Renamed and Alias
ردیف های فیلتر Spark DF
Spark DF Filter Rows
امتحان (انتخاب، با ستون، فیلتر)
Quiz (Select, Withcolumn, Filter)
راه حل (انتخاب، با ستون، فیلتر)
Solution (Select, Withcolumn, Filter)
بارگیری داده ها (ایجاد RDS-I)
Loading Data (Creating RDS-I)
بارگذاری داده (ایجاد RDS-II)
Load data (Creating RDS-II)
شبکه RDS
RDS Networking
در حال دانلود Postgres
Downloading Postgres
نصب Postgres
Installing Postgres
از طریق PGAdmin به RDS متصل شوید
Connect to RDS Through PGAdmin
در حال بارگیری داده ها
Loading Data
پروژه - تغییر ضبط داده/تکرار در حال انجام است
Project - Change Data Capture / Replication Ongoing
مقدمه ای بر پروژه
Introduction to Project
معماری پروژه
Project Architecture
ایجاد نمونه RDS MySQL
Creating RDS MySQL Instance
ایجاد سطل S3
Creating S3 Bucket
ایجاد نقطه پایانی منبع DMS
Creating DMS Source Endpoint
ایجاد نقطه پایانی مقصد DMS
Creating DMS Destination Endpoint
ایجاد نمونه DMS
Creating DMS Instance
MySQL WorkBench
MySQL WorkBench
اتصال با RDS و Dumping Data
Connecting with RDS and Dumping Data
درخواست RDS
Querying RDS
بارگذاری کامل DMS
DMS Full Load
تکرار DMS در حال انجام است
DMS Replication Ongoing
موارد توقف
Stopping Instances
کار چسب (بار کامل)
Glue Job (Full Load)
کار چسب (تغییر عکس)
Glue Job (Change Capture)
کار چسب (CDC)
Glue Job (CDC)
ایجاد تابع Lambda و اضافه کردن Trigger
Creating Lambda Function and Adding Trigger
بررسی ماشه
Checking Trigger
دریافت نام فایل S3 در لامبدا
Getting S3 File Name in Lambda
ایجاد کار چسب
Creating Glue Job
افزودن Invoke برای Glue Job
Adding Invoke for Glue Job
فراخوانی آزمایشی
Testing Invoke
نوشتن کار چسب چسب
Writing Glue Shell Job
خط لوله با بار کامل
Full Load Pipeline
خط لوله ضبط داده را تغییر دهید
Change Data Capture Pipeline
نمایش نظرات
Packtpub یک ناشر دیجیتالی کتابها و منابع آموزشی در زمینه فناوری اطلاعات و توسعه نرمافزار است. این شرکت از سال 2004 فعالیت خود را آغاز کرده و به تولید و انتشار کتابها، ویدیوها و دورههای آموزشی میپردازد که به توسعهدهندگان و متخصصان فناوری اطلاعات کمک میکند تا مهارتهای خود را ارتقا دهند. منابع آموزشی Packtpub موضوعات متنوعی از جمله برنامهنویسی، توسعه وب، دادهکاوی، امنیت سایبری و هوش مصنوعی را پوشش میدهد. محتوای این منابع به صورت کاربردی و بهروز ارائه میشود تا کاربران بتوانند دانش و تواناییهای لازم برای موفقیت در پروژههای عملی و حرفهای خود را کسب کنند.
نمایش نظرات